Huyện Yên Mô được hình thành từ rất sớm. Theo kết quả khảo cổ, vùng đất cổ Yên Mô đã có con người sinh sống cách ngày nay hành vạn năm. Thời nhà Trần gọi là Mô Độ, thời thuộc Minh Yên Mô thuộc châu Trường Yên. Thời vua Lê Thánh Tông (1460- 1469) Yên Mô thuộc phủ Trường Yên. Đầu thế kỷ XIX, thời nhà Nguyễn vẫn gọi là Yên Mô, gồm 8 tổng với 59 xã, thôn, phường, trang, trại. Năm Minh Mạng thứ 19 (1838), cắt tổng Thần Phù thuộc huyện Nga Sơn, Thanh Hoá về huyện Yên Mô thuộc Phủ Yên Khánh tỉnh Ninh Bình.

Trước cách mạng tháng 8 năm 1945, huyện Yên Mô gồm 9 tổng với 65 xã, thôn: Tổng Yên Mô 10 xã, thôn; tổng Khánh Đàm (Yên Khánh): 9 xã thôn; Tổng Bạch Liên: 9 xã, thôn; Tổng Thổ Mật: 6 xã, thôn; Tổng Thần Phù: 8 xã, thôn; Tổng Yên Vân: 4 xã, thôn

Năm 1948 – 1949 hợp nhất các xã quy mô nhỏ thành lập 8 xã có quy mô lớn: Yên Lạc, Yên Mạc, Yên Nhân, Yên Phong, Yên Sơn, Yên Thái, Yên Thắng, Yên Thành.

Năm 1956, sau cải cách ruộng đất chia tách 8 xã thành lập 14 xã mới: Yên Bình, Yên Đồng, Yên Hòa, Yên Lạc, Yên Lâm, Yên Mạc, Yên Mỹ, Yên Nhân, Yên Phong, Yên Phú, Yên Sơn, Yên Thái, Yên Thắng, Yên Thành. Tháng 5 – 1961, xã Yên Lạc sáp nhập vào huyện Yên Khánh (nay là xã Khánh Hồng), ba xã Khánh Dương, Khánh Thịnh, Khánh Thượng thuộc huyện Yên Khánh sáp nhập vào huyện Yên Mô. Huyện Yên Mô vào thời điểm 1961 gồm 16 xã: Khánh Dương, Khánh Thịnh, Khánh Thượng, Yên Bình, Yên Đồng, Yên Hòa, Yên Lâm, Yên Mạc, Yên Mỹ, Yên Nhân, Yên Phong, Yên Phú, Yên Sơn, Yên Thái, Yên Thắng, Yên Thành.

Ngày 28/1/1967 thành lập thị trấn nông trường Đồng Giao trực thuộc huyện Yên Mô. Ngày 23/2/1974 giải thể thị trấn nông trường Đồng Giao, thành lập thị trấn Tam Điệp trực thuộc tỉnh Ninh Bình.

Ngày 27/4/1977 huyện hợp nhất với 10 xã của huyện Yên Khánh thành huyện mới lấy tên là huyện Tam Điệp, với huyện lị là thị trấn Tam Điệp, thuộc tỉnh Hà Nam Ninh. Năm 1982, thị trấn Tam Điệp và 2 xã Yên Bình, Yên Sơn tách khỏi huyện Tam Điệp để trở thành thị xã Tam Điệp (nay là thành phố Tam Điệp).

Ngày 10/1/1984, chia xã Yên Phong thành 2 xã lấy tên là xã Yên Phong và xã Yên Từ.

Quyết định số 59/CP ngày 4-7-1994 của Chính phủ, tách 10 xã thuộc huyện Yên Khánh trước đây để thành lập lại huyện Yên Khánh, huyện Tam Điệp đổi tên thành huyện Yên Mô (lấy lại tên cũ), gồm 15 xã: Khánh Dương, Khánh Thịnh, Khánh Thượng, Yên Đồng, Yên Hòa, Yên Lâm, Yên Mạc, Yên Mỹ, Yên Nhân, Yên Phong, Yên Phú, Yên Thái, Yên Thắng, Yên Thành, Yên Từ.

Ngày 7-6-1997, thành lập thị trấn Yên Thịnh, thị trấn huyện lị huyện Yên Mô trên cơ sở 56,2 ha diện tích tự nhiên và 1.347 nhân khẩu của xã Yên Phú; 99,32 ha diện tích tự nhiên và 2.776 nhân khẩu của xã Khánh Thịnh.

Ngày 4-8-2000, tách thôn Hưng Hiền thuộc xã Yên Mỹ thành lập xã Yên Hưng; tách xã Khánh Thượng thành lập 2 xã Khánh Thượng và Mai Sơn.

Ngày 28-11-2012, Nghị quyết 80/NQ-CP của Chính phủ sáp nhập toàn bộ 397,97 ha diện tích tự nhiên, 3.288 nhân khẩu của xã Yên Phú và 159,76 ha diện tích tự nhiên, 1.233 nhân khẩu của xã Khánh Thịnh về thị trấn Yên Thịnh quản lý.

Qua nhiều biến đổi về hành chính, hiện tại, huyện Yên Mô gồm 16 xã: Khánh Dương, Khánh Thịnh, Khánh Thượng, Mai Sơn, Yên Đồng, Yên Hòa, Yên Hưng, Yên Lâm, Yên Mạc, Yên Mỹ, Yên Nhân, Yên Phong, Yên Thái, Yên Thắng, Yên Thành, Yên Từ và thị trấn Yên Thịnh.